Het kasteel dat eerst een residentieel kasteel was, heeft in de loop der tijd ook dienst gedaan als kazerne, graanmaalderij,  grootste houtzagerij van het land, het eerste gerechtshof van Oudenaarde, militair hospitaal, schoolgebouw, vredegerecht en stadsbibliotheek. Het "ratten"kasteel werd in 1969 gesloopt voor de Scheldewerken.